身為我是一個打雜搞視覺化的人類
我今天原本預計來跟大家分享一下這次我的隊友大大提供給我的環境
想說來講一下可以用ELK衝蝦密
在我瀏覽我有甚麼菜可以炒的這個moment
突然覺得我應該還是好好跟大家分享一下要怎麼認識這些菜
一般相關的人員在看Kibana報表的時候可能會有下列反應
1.下意識就會知道要用甚麼方法去呈現因為我以前看過
2.欸我也不知道欸都好啦亂選一個
3.老闆說哪ㄍ就哪ㄍ
身為一個廚(雜)師(魚)我覺得還是要理解自己手上的食材
所以我今天來跟大家分享一下
我們蒐集(Logstash)跟整理資料(ElasticSearch)的過程
然後可以看資料(Kibana)的概念?
以下我要偷偷引用我之前的案例
跟大家分享一下什麼叫做可以被分析的資料
非結構化資料 (unstructured data) vs. 結構化資料 (structured data)
簡單來說
平常大家(Kibana)在使用的
都是經過前人用心用肝用汗水整理好敲了資料(Logstash蒐集之後ElasticSearch整理)
我們才拿來使用
非結構化資料
簡單來說只要沒有規則的可被蒐集的東西就算非結構化資料
影片 音樂 書本內容 ...等
沒有可以將資料歸到欄位分類的就算非結構化
**(Log一連串向阿罵的裹腳布一樣長的東西)
結構化資料
蒐集的資料整齊每一筆都有相同了欄位劃分或是資料格式
像是影片分類:恐怖片 音樂分類:搖滾樂 書本內容:財經相關
可以訂定規則被分類的那種就是結構化資料
**(ElasticSearch擷取出我們要的,比如說ip,時間,經緯度,國家,瀏覽器類型...)
那簡單在用一個實際範例說明一下到底要怎麼區分吧
小明每天都寫日記
又是小明
今天是9/19的日記
早餐吃了50塊,可惡早餐店的阿姨漢堡居然沒幫我放肉片
然後就開始上班是個正常的一天
午餐很寒酸吃了20塊的滷肉飯
大家真的要好好防堵非洲豬瘟
不然就沒有滷肉飯吃了
晚餐很榮幸有人請我吃烤肉沒花半毛錢
我就帶著愉快的心情入睡
↑這種東西就是非結構化資料
↓結構化資料會長這樣
| Date | 餐 | 吃什麼 | $$ |
|---|---|---|---|---|
| 9/19 | 早 | 漢堡 | 50 |
| 9/19 | 午 | 滷肉飯 | 20 |
| 9/19 | 晚 | 烤肉 | 0 |
差異大概是長這樣
希望有解釋清楚 XD
明天見囉
我的友人要結婚了
身為最佳奴隸的我要去幫忙布置ㄌ
人生第一炸
很值得紀念